In this paper, we extend scene understanding to include that of human sketch. The result is a complete trilogy of scene representation from three diverse and complementary {modalities} -- sketch, photo, and text. Instead of learning a rigid three-way embedding and be done with it, we focus on learning a flexible joint embedding that fully supports the ``optionality" that this complementarity brings. Our embedding supports optionality on two axis: (i) optionality across modalities -- use any combination of modalities as query for downstream tasks like retrieval, (ii) optionality across tasks -- simultaneously utilising the embedding for either discriminative (e.g., retrieval) or generative tasks (e.g., captioning). This provides flexibility to end-users by exploiting the best of each modality, therefore serving the very purpose behind our proposal of a trilogy at the first place. First, a combination of information-bottleneck and conditional invertible neural networks disentangle the modality-specific component from modality-agnostic in sketch, photo, and text. Second, the modality-agnostic instances from sketch, photo, and text are synergised using a modified cross-attention. Once learned, we show our embedding can accommodate a multi-facet of scene-related tasks, including those enabled for the first time by the inclusion of sketch, all without any task-specific modifications.
translated by 谷歌翻译
网络和时间点过程是建模各个领域中复杂动态关系数据的基本构件。我们建议使用节点的潜在空间表示形式,提出了潜在空间鹰队(LSH)模型,这是一种连续时间的关系网络的新型生成模型。我们使用共同令人兴奋的霍克斯工艺在节点之间建模关系事件,其基线强度取决于潜在空间中的节点与发件人和接收器特定效果之间的距离。我们证明,我们提出的LSH模型可以复制在包括互惠和传递性在内的真实时间网络中观察到的许多功能,同时还可以实现卓越的预测准确性并提供比现有模型更明显的拟合。
translated by 谷歌翻译
随机块模型(SBM)是用于网络数据最广泛使用的生成模型之一。鉴于块或社区成员身份,许多连续的动态网络模型都建立在与SBM相同的假设上:有条件地有条件地独立在真实网络中观察到。我们提出了多元社区霍克斯(Mulch)模型,这是一种非常灵活的基于社区的模型,用于连续时间网络,使用结构化的多元霍克斯工艺在节点对之间引入依赖性。我们使用基于光谱聚类和基于可能性的本地改进程序拟合模型。我们发现,我们所提出的覆盖模型比在预测和生成任务中都比现有模型更准确。
translated by 谷歌翻译
在几个科学学科中,建模对网络连接个体结果的社会影响是一个中心研究问题。但是,网络影响无法从观察数据中鉴定出来,因为它与未观察到的同质性混淆。我们提出了一种潜在的同质调整后的空间自回归模型(SAR),以识别因果传播效应。潜在同质性是根据网络邻接矩阵的光谱嵌入来估计的。当通过误差测量协变量时,我们进一步开发了SAR模型参数的最大似然估计器。偏置校正的MLE具有统计一致性和渐进式性能。我们将估计的潜在同质性与SAR模型中的偏差校正MLE相结合,以估计网络影响。我们的模拟表明,这些方法在有限样品中的性能很好。将我们的方法应用于治疗界(TC)中女性犯罪犯罪者的数据集,我们提供了网络对TC毕业的影响的因果估计。
translated by 谷歌翻译
本文调查了具有不平等专业知识的组织之间竞争的动态。多智能体增强学习已被用来模拟和理解各种激励方案的影响,旨在抵消这种不等式。我们设计触摸标记,基于众所周知的多助手粒子环境的游戏,其中两支球队(弱,强),不平等但不断变化的技能水平相互竞争。对于培训此类游戏,我们提出了一种新颖的控制器辅助多智能体增强学习算法\我们的\,它使每个代理商携带策略的集合以及通过选择性地分区示例空间,触发智能角色划分队友。使用C-MADDPG作为潜在的框架,我们向弱小的团队提出了激励计划,使两队的最终奖励成为同一个。我们发现尽管激动人心,但弱小队的最终奖励仍然缺乏强大的团​​队。在检查中,我们意识到弱小球队的整体激励计划并未激励该团队中的较弱代理来学习和改进。要抵消这一点,我们现在特别激励了较弱的球员学习,因此,观察到超越初始阶段的弱小球队与更强大的团队表现。本文的最终目标是制定一种动态激励计划,不断平衡两支球队的奖励。这是通过设计富有奖励的激励计划来实现的,该计划从环境中取出最低信息。
translated by 谷歌翻译
文本分类的对比预制技术已经在一个无人监督的环境中进行了很大程度上。但是,通常可以使用与当前任务共享标签语义的相关任务的数据。我们假设使用此标记数据有效地导致当前任务的更好的概括。在本文中,我们提出了一种新的方法来利用基于曲线图的监督对比学习方法有效地利用相关任务的标记数据。我们通过将监督信息从示例推断到令牌来制定令牌图。我们的配方导致嵌入空间的嵌入空间,其中具有相同类的高/低概率的令牌彼此接近/进一步。我们还开发了详细的理论见解,该洞察力作为我们方法的动机。在我们的实验中,我们将展示我们的方法以2.5美元的价格优于预先预订计划,以及基于1,8 \%$ 1.8 \%$ 1.8 \%$ 1.8 \%$ 1.8 \%$ 1.8 \%。此外,我们在零击设置中显示了我们的方法的跨域效果,平均每次3.91 \%$ 3.91 \%。最后,我们还展示了我们的方法可以用作知识蒸馏设定中的嘈杂教师,以显着提高基于变压器的模型在低标记的数据制度中的性能,平均为4.57 \%$ 4.57 \%。
translated by 谷歌翻译